Fork me on GitHub

流量特征提取工具CICFlowMeter

ids2017数据集使用CICFlowMeter作为流特征提取工具,能够根据提交的pcap文件生成有80多个特征的csv文件,使用方法有两种:在线和离线模式。在线模式可以实时监控并产生特征,监听结束之后可以保存到本地;离线模式是提交一个pcap文件,得到一个包含特征的csv文件。

特征

这是ids2017数据集的特征,label这个标签是数据集根据实验环境标注的,实际使用CICFlowMeter生成的是无标签的。

1
| Flow ID | Source IP| Source Port | Destination IP | Destination Port |Protocol | Timestamp| Flow Duration | Total Fwd Packets | Total Backward Packets | Total Length of Fwd Packets | Total Length of Bwd Packets | Fwd Packet Length Max | Fwd Packet Length Min | Fwd Packet Length Mean | Fwd Packet Length Std | Bwd Packet Length Max | Bwd Packet Length Min | Bwd Packet Length Mean | Bwd Packet Length Std | Flow Bytes/s | Flow Packets/s | Flow IAT Mean | Flow IAT Std | Flow IAT Max | Flow IAT Min | Fwd IAT Total | Fwd IAT Mean | Fwd IAT Std | Fwd IAT Max | Fwd IAT Min | Bwd IAT Total | Bwd IAT Mean | Bwd IAT Std | Bwd IAT Max | Bwd IAT Min | Fwd PSH Flags | Bwd PSH Flags | Fwd URG Flags | Bwd URG Flags | Fwd Header Length | Bwd Header Length | Fwd Packets/s | Bwd Packets/s | Min Packet Length | Max Packet Length | Packet Length Mean | Packet Length Std | Packet Length Variance | FIN Flag Count | SYN Flag Count | RST Flag Count | PSH Flag Count | ACK Flag Count | URG Flag Count | CWE Flag Count | ECE Flag Count | Down/Up Ratio | Average Packet Size | Avg Fwd Segment Size | Avg Bwd Segment Size | Fwd Header Length | Fwd Avg Bytes/Bulk | Fwd Avg Packets/Bulk | Fwd Avg Bulk Rate | Bwd Avg Bytes/Bulk | Bwd Avg Packets/Bulk | Bwd Avg Bulk Rate | Subflow Fwd Packets | Subflow Fwd Bytes | Subflow Bwd Packets | Subflow Bwd Bytes | Init_Win_bytes_forward | Init_Win_bytes_backward | act_data_pkt_fwd | min_seg_size_forward | Active Mean | Active Std | Active Max | Active Min | Idle Mean | Idle Std | Idle Max | Idle Min | Label | External IP |

来源

一开始是在csdn上看到有人发了22w条记录:
https://download.csdn.net/download/qq_31667705/10824935

这是加拿大网络安全研究所(UNB)的数据,该文件是一个csv文件格式,可以用excel打开,已经整理完成。方便研究者用于机器学习或深度学习,一共包含22.5w条记录。主要用于DDoS的检测。

然后进一步找到了最原始的发布方:
https://www.unb.ca/cic/datasets/
https://www.unb.ca/cic/datasets/ids-2017.html
他的源数据是pcap格式的,然后放到http://netflowmeter.ca/这个网站得到了80多个特征。

可以通过在线提交或者https://github.com/ISCX/CICFlowMeter下载源码

  • 源码编译运行的方式我没试过,当时是直接下了官网给的可执行文件运行的,只需要配置好libpcap就可以直接运行。但目前github上没有提供这种可执行文件的下载方式了,我传到了百度网盘,链接在下面,需要的同学可以下载尝试运行。
  • 压缩包里面有一个readme,是作者给的,可以参考。我在ubuntu18.04可成功运行,【在线监听方式】和【离线提交csv获取特征方式】都能顺利执行。

链接:https://pan.baidu.com/s/1J82195oHTCBqXcRILW6IWw

提取码:q4uc

-------------本文结束感谢您的阅读-------------